อภัย จันทวิมล เกิดวันที่ 16 กุมภาพันธ์ พ.ศ. 2450 ที่อำเภอเมือง จังหวัดจันทบุรี เป็นผู้มีบทบาทสำคัญในการสนับสนุนส่งเสริมคณะลูกเสือแห่งชาติ ในคณะกรรมการลูกเสือโลก ขององค์การลูกเสือโลก ตั้งแต่ พ.ศ. 2508 ถึง 2514
ในพ.ศ. 2514 เขาได้รับรางวัลบรอนซ์วูลฟ์ ซึ่งเป็นรางวัลที่ได้รับจากองค์การลูกเสือโลก และมอบโดยคณะกรรมการลูกเสือโลกในฐานะที่มีการสนับสนุนส่งเสริมกิจการลูกเสือโลก ในการประชุมลูกเสือโลกครั้งที่ 22
อภัย จันทวิมล เข้าศึกษาที่โรงเรียนเบญจมราชูทิศ จังหวัดจันทบุรี และเข้าศึกษาต่อในระดับชั้นมัธยมศึกษาปีที่ 8 ที่โรงเรียนสวนกุหลาบวิทยาลัย ต่อมา ได้เดินทางไปศึกษาวิชากฎหมายที่ประเทศอังกฤษ และสำเร็จการศึกษาระดับปริญญาโทที่มหาวิทยาลัยเคมบริดจ์ พ.ศ. 2459 นายอภัย สมรสกับ คุณหญิงทองก้อน จันทวิมล (สกุลเดิม บุณยัษฐิติ) พ.ศ. 2490 เขาได้ดำรงตำแหน่งผู้ช่วยอธิบดีกรมสามัญศึกษา และ พ.ศ. 2504 ถึง 2511 ดำรงตำแหน่งปลัดกระทรวงศึกษาธิการ ภายหลังจากเกษียณอายุราชการแล้ว เขาได้ดำรงตำแหน่งเป็นรัฐมนตรีช่วยว่าการกระทรวงศึกษาธิการ ในพ.ศ. 2513 ถึง 2514 และดำรงตำแหน่งรัฐมนตรีว่าการกระทรวงศึกษาธิการ ในพ.ศ. 2515 ถึง 2517 ต่อมา ได้รับพระราชทานปริญญาศิลปศาสตร์ดุษฎีบัณฑิตกิตติมศักดิ์จากมหาวิทยาลัยเชียงใหม่ นายอภัย ถึงแก่อนิจกรรม เมื่อปี 2536 สิริอายุ 86 ปี
